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© Vorrichtung zur Umgebungsiiberwachung eines Fahrzeugs 

® Die Erfindung betrifft eine Vorrichtung zur Umge- 
bungsuberwachung eines Fahrzeugs. Hierzu wird die Po- 
sition eines sich dem Fahrzeug annahernden Objektes auf 
der Grundlage zweier aufgenommener Bilder ermittelt. 
Die Bilder werden zu zwei voneinander zeitlich beabstan- 
deten Zeiten in eine m vorbestimmten Zeitintervall aufge- 
nommen. Dann wird auf dem sich annahernden Objekt 
ein unbeweglicher Punkt gesetzt. Ein Anzeige-Rahmen- 
Bild wird mit Bezug auf den unbewegtichen Punkt er- 
zeugt Dann wird das Anzeige-Rahmen-Bild auf das auf- 
genommene Bild projiziert. Das herannahende Objekt 
kann leicht erkannt werden, da das herannahende Objekt 
durch einen Rahmen des Anzeige-Rahmen-Bildes einge- 
grenzt ist. 
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Beschreibung 

Die Erfindung betrifft eine Vorrichtung zur Umgebungs- 
iiberwachung und insbesondere eine Umgebungs-Uberwa- 
chungsvorrichtung, die ein herannahendes Objekt auf der 5 
Grundlage zweier Bilder errnittelt, die durch eine Aufnahme 
der Fahrzeugumgebung zu zwei vorbestimmten und zeitlich 
voneinander beabstandeten Zeitpunkten aufgenommen sind, 
und die ein Bild anzeigt, auf dem das ermittelte heranna- 
hende Objekt auf das aufgenommene Bild uberlagert ist. io 

Mit Bezug auf die Fig. 12A bis 12D wird nachfolgend ein 
Umgebungs-Uberwachungssystem nach dem Stand der 
Technik erklart. 

Die Fig. 12A bis 12C sind Ansichten, die zur Veranschau- 
lichung einer Veranderung eines durch eine Videokamera 1 15 
aufgenommenen riickwartigen Bildes dienen. Fig. 12A zeigt 
eine Situation mit dem betreffenden Fahrzeug. Fig. 12B 
zeigt ein durch eine Videokamera 1 in einem Zeitpunkt t 
aufgenommenes Bild der Umgebung des betreffenden Fahr- 
zeugs. Fig. 12C zeigt ein zu einem Zeitpunkt t+5t aufge- 20 
nommenes Bild. 

Es wird nun angenommen, dass das betreffende Fahrzeug 
auf einer geraden, flachen StraBe fahrt. Das im riickwartigen 
Bild des betreffenden Fahrzeuges aus Fig. 12A befindliche 
StraBenschild und Gebaude sind aufgenommene Objekte, 25 
die gemaB den Fig. 12B und 12C jeweils in einem Zeitpunkt 
t und t+At aufgenommen wurden. Die Bilder sind in Form 
aufeinanderfolgender Pixel, beispielsweise 512 x 512 Pixel, 
und mit einer Luminanz von 0-255 Einheiten gespeichert. 
Beim Bilden eines Kontrastes zwischen den Pixeln mit einer 30 
vorbestimmten oder groBeren Helligkeitsdifferenz zum je- 
weiligen Nachbarpixel auf dem gespeicherten Bild werden 
charakteristische Punkte, wie beispielsweise eine Kontur ei- 
nes anderen Fahrzeugs extrahiert. Eine Verbindung der ent- 
sprechenden charakteristischen Punkte in diesen zwei Bil- 35 
dem liefert jeweilige Geschwindigkeitsvektoren, wie sie in 
Fig. 12C gezeigt sind. Man spricht hier von "optischen 
Fluss- oder Bewegungsvektoren" (Optical Row). 

Diese optischen Flussvektoren erstrecken sich radial von 
einem Punkt, den man Expansionsfokus FOE (Focus of Ex- 40 
tension) des Bildes nennt. Dieser Expansionsfokus dcflniert 
auch einen Unendlichkeits- oder sich entfemenden Punkt 
und er entspricht einem Punkt, der der Bewegungsrichtung 
des Fahrzeugs auf der Fahrbahn direkt entgegengesetzt ist, 
wenn das Fahrzeug geradeaus fahrt. Die beim Fahren des 45 
Fahrzeugs erhaltenen optischen Flussvektoren erstrecken 
sich in Radialrichtung von dem FOE. Die optischen Fluss- 
vektoren, die von einem anderen Fahrzeug ausgegeben wur- 
den, das dem betreffenden Fahrzeug folgt oder auf einer an- 
grenzenden Fahrspur fahrt, enthalten die Information der 50 
Position und der relativen Geschwindigkeit des auf der be- 
nachbarten Fahrspur fahrenden Fahrzeugs. Wenn der opti- 
sche Flussvektor lang ist und vom FOE wegzeigt, ist von ei- 
ner groBen Gefahr auszugehen. 

Wenn der ermittelte optische Flussvektor lang ist und auf 55 
den FOE gerichtet ist, bestimmt eine herkommliche Uber- 
wachungsvorrichtung, dass sich ein Objekt (nachfolgend 
einfach als herannahendes Fahrzeug bezeichnet) dem betref- 
fenden Fahrzeug nahert und eine hohe Gefahr darstellt. Auf 
der Grundlage dieser Bestimmung wird eine die Gefahr an- 60 
zeigende Warnung ausgegeben und das sich nahernde Fahr- 
zeug auf einer Bildschirmanzeige angezeigt. 

Im Stand der Technik ist auch eine Suchtechnik entspre- 
chender Punkte bekannt, bei der zwei Kameras verwendet 
werden. Ein charakteristischer Punkt Pa eines Objektes wird 65 
durch eine Helligkeitsdifferenz zwischen benachbarten Pi- 
xeln auf dem von der Kamera aufgenommenen Bild errnit- 
telt. Entsprechend diesem ermittelten charakteristischen 



Punkt Pa (nicht gezeigt) wird ein Punkt Pb (nicht gezeigt) 
von einer anderen Kamera aufgenommen. Die Position P 
des sich herannahenden Fahrzeugs wird mittels der Pixeiko- 
ordinaten von Pa und Pb nach vorbestimmten Zeitinterval- 
len berechnet. Auf der Grundlage dieser Position des heran- 
nahenden Fahrzeugs wird dem Fahrer ein Warnsignal gege- 
ben, durch das er auf die Anwesenheit des sich herannahen- 
den Fahrzeugs aufmerksam gemacht werden soli. Auch in 
diesem Fall kann das sich herannahende Fahrzeug auf der 
Anzeigevorrichtung angezeigt werden. 

Wie in Fig. 13 gezeigt, wird das herannahende Fahrzeug 
angezeigt, so dass seine charakteristischen Punkte R dem 
aufgenommenen Bild uberlagert werden. 

Die zu den vorbestimmten Zeitintervallen auf der Grund- 
lage der Helligkeitsdifferenz gemaB obiger Beschreibung 
ermittelten charakteristischen Punkte des aufgenommenen 
Bildes mit einem sich in der Helligkeit konstant verandern- 
den Hintergrund bewegen sich jedoch mit Bezug auf das 
herannahende Fahrzeug. Da eine Mehrzahl charakteristi- 
scher Punkte fur ein einzelnes herannahendes Fahrzeug er- 
zeugt werden, bewegt sich eine unbegrenzte Anzahl von 
Punkten auf dem Bild. Obwohl die Mehrzahl charakteristi- 
scher Punkte fur ein einzelnes herannahendes Fahrzeug er- 
zeugt werden, kann der Fahrer das herannahende Fahrzeug 
nicht in einem Blick auf seiner Anzeigevorrichtung erken- 
nen, da die charakteristischen Punkte relativ zur GroBe des 
herannahenden Fahrzeugs sehr klein sind. 

Unter Beachtung dessen, dass die charakteristischen 
Punkte als Objektanhaufung fur das einzelne herannahende 
Fahrzeug erzeugt werden, konnte man vorschlagen, einen 
Anzeige-Rahmen F vorzusehen, der die Objektanhaufung 
bezuglich der charakteristischen Punkte eingrenzt (siehe 
Fig. 13). Da sich jedoch die GroBe der Objektanhaufung des 
herannahenden Fahrzeugs gemaB einer Veranderung des Er- 
scheinungsbildes der charakteristischen Punkte innerhalb 
eines Zeitablaufs verandert, kann der Fahrer das heranna- 
hende Fahrzeug nicht mit einem Blick erkennen. 

Aufgabe der Erfindung ist es, eine Vorrichtung zur Umge- 
bungs-Uberwachung eines Fahrzeugs zu schaffen, mit der 
ein herannahendes Objekt leicht visuell erkannt wird, indem 
es unter Verwendung eines Anzeige-Rahmen s cingegrcnzt 
wird. 

Zur Losung obiger Aufgabe ist gemaB der Erfindung eine 
Vorrichtung zur Urngebungsuberwachung eines Fahrzeugs 
vorgesehen, die aufweist: 

eine zum Aufnehmen eines Bildes auf einem Fahrzeug mon- 
tierte Bildaufnahmevorrichtung; 

eine Anzeigevorrichtung zum Anzeigen des aufgenomme- 
nen Bildes; 

eine Ermittlungsvorrichtung ftir ein herannahendes Objekt 
zum Ermittein einer Position des sich herannahenden Ob- 
jektes auf der Grundlage zweier aufgenornmener Bilder, die 
zu zwei Zeitpunkten aufgenommen wurden, die mit einer 
vorbestimmten zeitlichen Dauer auseinanderliegen; 
eine Vorrichtung zum Setzen eines unbewegiichen Punktes 
auf dem ermittelten herannahenden Objekt; 
eine Bilderzeugungs vorrichtung zum Erstellen eines Bildes 
mit Anzeigerahmen, der das herannahende Objekt mit Be- 
zug auf den unbewegiichen Punkt eingrenzt; und 
eine Uberlagerungsvorrichtung zum Uberlagern des Anzei- 
gerahmen-Bildes mit dem aufgenommenen Bild. 

Da das Anzeigerahmen-Bild mit dem das herannahende 
Objekt mit Bezug auf den unbewegiichen Punkt eingrenzen- 
den Rahmen auf dem herannahenden Objekt vorgesehen ist, 
kann das von einem stetigen Anzeigerahmen eingegrenzte 
aufgenommene Bild angezeigt werden. 

Bevorzugterweise weist die Vorrichtung zum Ermittein 
des herannahenden Objektes eine Vorrichtung zum Extra- 
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hieren der charakteristischen Punkte oder einer Objektan- 
haufung aus einer Mehrzahl charakteristischer Punkte auf 
dem aufgenommenen Bild zu vorbestimmten Zeitinterval- 
len auf, wobei die charakteristischen Punkte oder deren Ob- 
jektanhaufung auf den beiden aufgenommenen Bildern dazu 
venvendet werden, die Position des sich herannahenden Ob- 
jektes festzustellen; und die Vorrichtung zum Festlegen des 
unbeweglichen Punktes legt den unbeweglichen Punkt auf 
der Grundlage der Mehrzahl charakteristischer Punkte fest, 
die auf dem herannahenden Objekt erscheinen. 

Da in dieser Konfiguration der unbewegliche Punkt auf 
die Positionen der Mehrzahl charakteristischer Punkte ge- 
setzt ist, die an dem herannahenden Objekt erscheinen, kann 
der unbewegliche Punkt unter Verwendung der charakteri- 
stischen Punkte gesetzt werden, die extrahiert werden, urn 
das herannahende Objekt auf dem aufgenommenen Bild zu 
ermitteln. 

Bevorzugterweise weist die Vorrichtung zum Ermitteln 
eines herannahenden Objektes eine Vorrichtung zum Ermit- 
teln einer Mehrzahl von Bewegungen desselben charakteri- 
stischen Punktes oder derselben Objektanhaufung charakte- 
ristischer Punkte auf den zwei aufgenommenen Bildern auf, 
so dass die Position des herannahenden Objektes auf dem 
aufgenommenen Bild auf der Grundlage der ermittelten Be- 
wegungen festgestellt wird. 

Nach dieser Konfiguration kann das herannahende Objekt 
durch eine einzige Bildaufnahme vorrichtung ermittelt wer- 
den. 

Bevorzugterweise setzt die Vorrichtung zum Setzen des 
unbeweglichen Punktes einen Mittelpunkt oder ein Massen- 
schwerpunkts aus einer Mehrzahl von charakteristischen 
Punkten, die auf dem herannahenden Objekt erscheinen. 

Da hier die durchschnittliche Position der Mehrzahl cha- 
rakteristischer Punkte als unbeweglicher Punkt gesetzt wer- 
den kann, wird gemaB dieser Konfiguration, selbst wenn 
sich die zu vorbestimmten Zeitintervallen extrahierten cha- 
rakteristischen Punkte verandern, diese Veranderung aufge- 
hoben, um einen im Wesentlichen unbeweglichen Punkt fur 
das herannahende Objekt vorzusehen. 

Die Umgebungs-Uberwachungsvorrichtung weist iiber- 
dics vorteilhaftcrwcisc auf: eine Vorrichtung zum Ermitteln 
weiBer Linien, um das aufgenommene Bild auf ein Paar 
weiBer Linien zu untersuchen, die an beiden Seiten der 
Fahrbahn vorliegen; und eine Vorrichtung zum Festlegen 
von Bereichen linker und reenter angrenzender Fahrbahnen 
auf der Grundlage der Position obiger weiBer Linien. Die 
Vorrichtung zum Setzen des unbeweglichen Punktes um- 
fasst eine Vorrichtung zum Setzen einer geschatzten Orts- 
kurve des unbeweglichen Punktes auf dem herannahenden 
Objekt innerhalb der linken und rechten angrenzenden Fahr- 
bahnregion, die eine unbewegliche Vertikallinie auf dem 
herannahenden Objekt auf der Grundlage der horizontalen 
Positionen der charakteristischen Punkte festlegt, die in je- 
der Region des linken und rechten benachbarten Fahrbahn- 
bereichs ermittelt wurden, und sie setzt den Kreuzungspunkt 
der unbeweglichen Vertikallinie mit der geschatzten Orts- 
kurve des unbeweglichen Punktes. 

Wenn das herannahende Objekt auf dem aufgenommenen 
Bild vertikale Schwingungen ausfuhrt, weil es auf einer un- 
ebenen StraBe fahrt, kann der unbewegliche Punkt nach die- 
ser Konfiguration auf der Grundlage von lediglich den Hori- 
zontalpositionen der charakteristischen Punkte in der linken 
oder der rechten angrenzenden Fahrbahnregion gesetzt wer- 
den. Somit vibriert der Anzeigerahmen nicht synchron mit 
der Vertikalvibration des herannahenden Objektes. 

Die Bilderzeugungs vorrichtung schafFt vorzugsweise ei- 
nen Anzeigerahmen mit einer GroBe, die der Position des 
unbeweglichen Punktes auf dem aufgenommenen Bild ent- 



spricht. Somit kann das Anzeige-Rahmen-Bild entspre- 
chend der GroBe des herannahenden Objektes erzeugt wer- 
den. 

Die Umgebungs-Uberwachungsvorrichtung fur ein Fahr- 

5 zeug weist uberdies vorteilhafterweise auf: 

eine Vorrichtung zum Ermitteln weiBer Linien, um auf 
dem aufgenommenen Bild ein Paar weiBe Linien zu ermit- 
teln, die auf beiden Seiten der Fahrbahn angeordnet sind; 
und eine Vorrichtung zum Setzten einer Region eines linken 

10 und rechten angrenzenden Fahrbahnbereiches auf der 
Grundlage der Position der weiBen Linien. Die Bilderzeu- 
gungsvorrichtung schafft ein vergroBertes Anzeige-Rah- 
men-Bild relativ zur Horizontalposition des unbeweglichen 
Punktes auf dem herannahenden Objekt, das sich in der lin- 

15 ken oder rechten angrenzenden Fahrbahnregion dem linken 
oder rechten Ende des aufgenommenen Bildes annahert. 

GemaB dieser Konfiguration kann das herannahende Ob- 
jekt in dem Anzeige-Rahmen-Bild eingegrenzt sein, dessen 
GroBe genau der GroBe des herannahenden Objektes ent- 

20 spricht. 

Die Umgebungs-Uberwachungsvorrichtung fur ein Fahr- 
zeug weist vorteilhafterweise auf: 

eine Vorrichtung zum Ermitteln weiBer Linien, um auf dem 
aufgenommenen Bild weiBe Linien zu ermitteln, die auf bei- 

25 den Seiten der Fahrbahn vorliegen; 

eine Vorrichtung zum Setzen einer Region von einem linken 
und einem rechten angrenzenden Fahrbahnbereich auf der 
Grundlage der Positionen der weiBen Linien. Die Bilderzeu- 
gungsvorrichtung schafft ein vergroBertes Anzeige-Rah- 

30 men-Bild relativ zur Vertikalposition des unbeweglichen 
Punktes auf dem herannahenden Objekt, das in einem Be- 
reich der Fahrbahn ermittelt wurde und sich dem unteren 
Ende des aufgenommenen Bildes annahert. 

GemaB dieser Konfiguration kann das herannahende Ob- 

35 jekt von dem Anzeige-Rahmen-Bild eingegrenzt sein, des- 
sen GroBe genau der GroBe des herannahenden Objektes 
entspricht. 

Die Bilderzeugungs vorrichtung schafft bevorzugterweise 
ein vorlaufiges Anzeige-Rahmen-Bild mit Bezug auf den 

40 zuvor gesetzten unbeweglichen Punkt, wenn das heranna- 
hende Objekt noch nicht ermittelt worden ist, und die Vor- 
richtung zur Uberlagerung uberlagert das vorlaufige An- 
zeige-Rahmen-Bild mit dem aufgenommenen Bild fur eine 
vorbestimmte Zeit. 

45 Selbst wenn die charakteristischen Punkte nicht extrahiert 
und ein Ermitteln des herannahenden Objektes unterbrochen 
wird, kann nach dieser Konfiguration der Anzeigerahmen 
des herannahenden Objektes kontinuierlich angezeigt wer- 
den. 

50 Die Erfindung wird nun nachfolgend mit Bezug auf die 
beigefiigte Zeichnung naher beschrieben. In dieser zeigen: 
Fig. 1 ein Grundschaitbild eines Umgebungs-Uberwa- 
chungssy stems fiir ein Fahrzeug gemaB der Erfindung; 
Fig. 2 ein Blockschaltbild einer erfindungsgemaBen Aus- 
55 fiihrungsform des Umgebungs-Uberwachungssy stems; 

Fig. 3 ein das Verarbeitungsverfahren einer CPU der in 
Fig. 2 gezeigten Umgebungs-Uberwachungsvorrichtung 
darstellendes FlieBbild; 

Fig. 4 ein von einer Kamera aufgenommenes Bild; 
60 Fig. 5 ein durch ein Extrahierverfahren charakteristischer 
Punkte von dem aufgenommenen Bild differenziertes Bild; 

Fig. 6 eine die Arbeitsweise zur Ermittlung von weiBen 
Linien erklarende Darstellung; 

Fig. 7 eine die Arbeitsweise zum Setzen von Regionen er- 
65 klarende Darstellung; 

Fig. 8A und 8B die Arbeitsweise zur Ermittlung optischer 
Flussvektoren; 

Fig. 9 eine das Verfahren zur Ermittlung eines heranna- 
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henden Objektes erlautemde Darstellung; 

Fig. 10 auf der Bildanzeige angezeigtes Bild; 

Fig. 11 eine die Arbeitsweise zum Setzen eines unbeweg- 
lichen Punktes erlautemde Darstellung; 

Fig. 12A bis 12D Ansichten zur Veranschaulichung von 
Veranderungen in dem von der Kamera aufgenommenen 
Bild; und 

Fig. 13 eine Ansicht zum Erlautern der Arbeitsweise ei- 
ner Anzeigevorrichtung fur ein herannahendes Objekt nach 
dem Stand der Technik. 

Nachfolgend werden nun verschiedene Ausfuhrungsfor- 
men der Erfindung erlautert. 

Ausfiihrungsform 1 

Fig. 2 zeigt ein Blockschaltbild einer erfindungsgemaBen 
Ausfuhrungsform eines Umgebungs-Uberwachungssy- 
stems. Wie in Fig. 2 gezeigt, dient eine Kamera als eine 
Bildaufnahmevorrichtung, die an einer Position eines Fahr- 
zeuges angeordnet ist, an der die Aufnahme der Umgebung 
des Fahrzeuges moglich ist. Die Kamera 1 fokussiert ein 
Bild uber einen Blickwinkel, der durch eine Linse la auf der 
Bildebene lb definiert ist. 

Ein Speicherabschnitt 2 weist einen ersten Rahmen-Spei- 
cher 2a, einen zweiten Rahmen-Speicher 2b, einen Differen- 
zialrahmen-Speicher 2c und einen "divergierenden opti- 
schen Fluss"-Speicher 2d auf, Der erste und der zweite Rah- 
men-Speicher 2a und 2b speichern zeitlich gemaB D2 und 
D3 die Pixel in einer m-n-Matrix (z. B. 512x512 Pixel mit 
einer Luminanz von 0-255 Einheiten), die aus den auf der 
Bildebene lb der Kamera 1 aufgenommenen Bilddaten Dl 
konvertiert sind, und die dann an einen Microcomputer 5 
weitergegeben wird. 

Der erste Rahmen-Speicher 2a und der zweite Rahmen- 
Speicher 2b speichern nacheinander die m-n-Pixeldaten D2 
und D3, die von dem aufgenommenen Bild in vorbestimm- 
ten Zeitintervallen At konvertiert wurden, so dass sie zu ei- 
nem Zeitpunkt t in dem ersten Rahmen-Speicher 2a gespei- 
chert sind, in dem zweiten Rahmen-Speicher 2b zum Zeit- 
punkt t+At, u. s. w. 

Der Differenzialbild-Spcicher 2c speichert die differcn- 
zierten Bilddaten D4, die durch Differenzieren der Pixelda- 
ten D2 und D3 erhalten werden. Der Speicher 2d des diver- 
gierenden optischen Flusses speichert optische Flusvektor- 
Daten D5 in einer divergierenden Richtung und fuhrt diese 
an den Mikrocomputer 5. 

Der Mikrocomputer 5 ist an einem Fahrtrichtungsmes- 
schalter 4 angeschlossen. Der Fahrtrichtungsmesschalter, 
der mit einem Fahrtrichtungsmechanismus des Fahrzeugs 
verbunden ist, liefert ein Fahrtrichtungswechselsignal SI, 
urn Instruktionsinformationen SI von dem Fahrtrichtungs- 
mechanismus an den Mikrocomputer 5 zu geben. Der Fahrt- 
richtungsmechanismus arbeitet, wenn das Fahrzeug durch 
einen Fahrer nach rechts oder nach links gelenkt wird. 

Der Warnsignalabschnitt 4 hat einen Lautsprecher 4a und 
eine Anzeigevorrichtung 4b. Die Anzeigevorrichtung 4b 
gibt das aufgenommene Bild wieder oder zeigt das Bild des 
herannahenden Fahrzeugs an, das durch einen Anzeigerah- 
men auf dem aufgenommenen Bild eingegrenzt ist, wenn 
entschieden wurde, dass eine Gefahr besteht, mit einem an- 
deren Fahrzeug zu kollidieren, das sich dem betreffenden 
Fahrzeug abrupt angenahert hat, wobei der Fahrer durch ein 
Bild uber die Gefahr informiert wird. Der Lautsprecher 5a 
gibt ein Wamsignal wieder, d. h. er erzeugt eine horbare An- 
weisung oder warnt auf der Grundlage eines Schailsignals 
S2, das von dem Mikrocomputer 5 erzeugt wird, wenn ent- 
schieden wurde, dass eine Gefahr aufgrund einer Kollision 
oder eines Kontaktes mit einem anderen Fahrzeug besteht. 



Der Mikrocomputer 5 hat eine CPU 5a, die gemaB einem 
Steuerprogramm arbeitet, ein ROM 5b zum Speichern des 
Steuerprogramms fur die CPU 5a und vorbestimmter Werte, 
und ein RAM 5c zum temporaren Speichern von Daten, die 

5 zum Ausfiihren des Bearbeitungsprozesses der CPU 5a er- 
forderlich sind. 

Nachfolgend wird die Arbeitsweise eines Umgebungs- 
Uberwachungssystems mit oben beschriebener Konfigura- 
tion erlautert. Zunachst nimmt die CPU 5a das in Fig. 4 ge- 

10 zeigte Bild in Form von Bilddaten Dl mit der Kamera 1 auf. 
Die CPU 5a veraniasst, die Pixeldaten D2 entsprechend der 
aufgenommenen Bilddaten Dl in dem ersten Rahmen-Spei- 
cher 2a zu speichern (Schritt SI). Das aufgenommene Bild 
besteht aus einer StraBe 10, weiBen Linien, die auf der 

15 StraBe 10 aufgezeichnet sind, und Wanden, die sich auf bei- 
den Seiten der StraBe 10 nach oben erstrecken, welche Be- 
standteile an einem Zentralpunkt in einer Horizontalrich- 
tung auf dem Bild verschwinden. 

Da die Kamera 1 nach obiger Beschreibung an der riick- 

20 wartigen Seite des Fahrzeugendes angeordnet ist, entspricht 
deren rechte Seite der linken Fahrtrichtungsseite, wobei die 
linke Seite der Kamera der rechten Fahrtrichtungsseite ent- 
spricht. 

Die CPU 5a veraniasst, die Pixeldaten D3 des zu einem 

25 Zeitpunkt t+At aufgenommenen Bildes in dem zweiten Rah- 
men-Speicher 2b zu speichern (Schritt S2). Somit sind die 
Pixeldaten D2 und D3 der in vorbestimmten Intervallen auf- 
genommenen Bildern nacheinander in dem ersten und in 
dem zweiten Rahmen-Speicher 2a, 2b gespeichert. 

30 Die CPU 5a fuhrt eine Verarbeitung der Daten zum Extra- 
hieren der charakteristischen Punkte (Schritt S3) aus, wie 
das spater beschrieben wird. Durch den Verarbeitungspro- 
zess mittels der CPU 5a werden Pixeldaten D2 mit einer Lu- 
minanz I mtn fur die Pixel der m-ten Reihe und n-ten Reihe 

35 horizontal in Fig. 4 gescannt oder abgetastet, so dass eine 
Differenz in der Luminanz (l m #+i - I ra>n ) zwischen dem ent- 
sprechenden Pixel und dem angrenzenden Pixel erhalten 
wird. Wenn deren Wert groBer als ein vorbestimmter Wert 
ist, wird eine Luminanz von I m n = 1 angenommen. Wenn 

40 deren Wert kleiner als ein vorbestimmter Wert ist, wird eine 
Luminanz von I raiD = 0 angenommen. Die Pixeldaten D2 
werden auf gleiche Weise vertikal gescannt. Auf diese 
Weise wird ein differenziertes Bild erzeugt (siehe Fig. 5), 
das sich lediglich aus den charakteristischen Punkten zu- 

45 sammensetzt, die die Kontur des annahemden Fahrzeugs auf 
dem aufgenommenen Bild nach Fig. 5 darstellen. In diesem 
Fall werden die Pixel mit einer jeweiligen Luminanz von 
"1" als die charakteristischen Punkte extrahiert. Die aus die- 
sem differenzierten Bild gewonnenen difTerenzierten Bild- 

50 daten D4 werden einem DifTerntialbiid-Speicher 2c zuge- 
fuhrt. Im Schritt S3 dient die CPU 5a als Vorrichtung zum 
Extrahieren der charakteristischen Punkte fur die Vorrich- 
tung zum Ermitteln des herannahenden Objektes. 

Nachfolgend fuhrt die CPU 5a das Verfahren zum Ermit- 

55 teln weiBer Linien (Schritt S4) aus, das nachfolgend be- 
schrieben wird. Zunachst wird eine Referenzlinie V SL ge- 
maB Fig. 6 in das differenzierte Bild gesetzt. Die Referenz- 
linie V S l ist so gesetzt, dass sie auf dem difTerenzierten Bild 
durch den Mittelpunkt einer Horizontallinie vertikal ver- 

60 lauft. Das heiBt, dass die Referenzlinie V SL in das Zentrum 
der Horizontallinie derjenigen Fahrbahn gesetzt ist, auf der 
das Fahrzeug fahrt und die durch die weiBen Linien 12, 13 
geschnitten ist. 
Nach dem Setzen der Referenzlinie V SL wird ein Such- 

65 vorgang der charakteristischen Punkte eines Paars aus wei- 
Ben Linien 12 und 13 ausgefuhrt, die an beiden Seiten der 
betreffenden Fahrbahn vorliegen. Der Suchvorgang der cha- 
rakteristischen Punkte der weiBen Linien 12 und 13 wird 



von einer Horizontallinie H( L0 ) nach oben hin ausgefuhrt, 
die am unteren Rand des in Fig. 6 gezeigten Bildschirms an- 
geordnet ist Die charakteristischen Punkte werden von dem 
untersten Ende P( so ) auf der Referenzlinie V SL in Richtung 
beider Enden der Horizontallinie gesucht. Somit wird der 5 
den Rand der weiBen Linie 12 bildende charakteristische 
Punkt P( L0 ) und der den Rand der weiBen Linie 13 bildende 
charakteristische Punkt P( R0 ) erhalten, die jeweils auf der 
linken Seite und der rechten Seite der Referenzlinie V SL lie- 
gen. 10 

Nachfolgend werden die charakteristischen Punkte von 
dem Punkt P S1 , der an dem zweiten Punkt vom untersten 
Ende aus angeordnet ist, in Richtung beider Enden der Hori- 
zontallinie gesucht. Somit werden die charakteristischen 
Punkte P( Ll ) der weiBen Linie 12 und P( Rl ) der weiBen Linie 15 
13 erhalten, die jeweils auf der linken Seite und der rechten 
Seite der Referenzlinie liegen. 

Dieser Prozess wird in sukzessiver Weise zum Ermitteln 
der charakteristischen Punkte auf dem differenzierten Bild 
ausgefuhrt. Somit werden die charakteristischen Punkte 20 
P(L(m+2)). P(R(m+2)), P(um+2)), P(R(m+2)) des dem betreffen- 
den Fahrzeug folgenden Fahrzeugs ermittelt, so dass nur die 
charakteristischen Punkte auf derselben Linie weiter extra- 
hiert werden. Im Ergebnis werden nur die charakteristischen 
Punkte des Paars weiBer Linien verfoigt, die auf beiden Sei- 25 
ten derjenigen Fahrbahn verlaufen, auf der das Fahrzeug 
fahrt. 

Naherungsweise ermittelte Linie werden durch die extra- 
hierten charakteristischen Punkte durch das Gesetz der 
kleinsten Quadrate erzeugt und als die weiBen Linien 12 und 30 
13 ermittelt. Folglich kann die CPU 5a als Vorrichtung zur 
Erkennung weiBer Linien arbeiten. 

Die CPU 5a verlangert die angenommenen Linien, um 
den Kreuzungspunkt als den FOE zu setzen (FOE-Verfah- 
rensschritt: Schritt S5). Bei dem FOE-Verfahrensschritt 35 
kann die CPU 5a als Vorrichtung zum Setzen des FOEs ar- 
beiten. In ahnlicher Weise werden die Pixeldaten D3 des 
nach der Zeitspanne At aufgenornmenen Bildes einem Ex- 
trahierverfahren der charakteristischen Punkte, einem Extra- 
hierverfahren fiir weiBe Linien und einen FOE-Setzverfah- 40 
ren untcrzogen. 

Nachfolgend fuhrt die CPU 5a einen Verarbeitungsschritt 
(Schritt S6) zum Setzen von Regionen aus, der nachfolgend 
erlautert wird. Zunachst dienen die in Schritt S5 gesetzten 
weiBen Linien 12 und 13 und der gesetzte FOE als Grund- 45 
lage. Wie in Fig. 7 gezeigt, wird eine rechte obere Endlinie 
Hur, die eine sich in eine Horizontalrichtung von dem FOE 
nach rechts erstreckende Grenzlinie ist, und eine linke obere 
Endlinie Hul gesetzt, die eine sich in der Horizontalrichtung 
von dem FOE nach linkes erstreckende Grenzlinie ist. Unter 50 
Verwendung dieser rechten oberen Endlinie Hur, der linken 
oberen Endlinie Hul, und der weiBen Linien 12 (OJ und 13 
(Or) wird eine angrenzende rechte Fahrbahnregion SV(r) 
der betreffenden Fahrbahn SV( S ) und eine angrenzende 
linke Fahrbahnregion SV( L ) bestimmt. In Schritt S6 kann 55 
die CPU 5a als Vorrichtung zum Bestimmen der Regionen 
arbeiten. 

Nachfolgend fuhrt die CPU 5a ein Ermittlungsprozess ei- 
nes optischen Flussvektors zum Aufnehmen der Fahrtrich- 
tungsanderungs-Information SI aus, die von der Fahrtrich- 60 
tungsmesseinheit 3 erzeugt wird, um den optischen Fluss fur 
die Region entsprechend der Fahrtrichtungsanderungs-In- 
formation SI zu ermitteln. Insbesondere dann, wenn die 
Fahrtrichtungsanderungs-Information SI den Wunsch eines 
Fahrbahnwechsels auf die rechte angrenzende Fahrbahn an- 65 
zeigt, wird der optische Fluss fur die rechte angrenzende 
Fahrbahnregion SV(r) ermittelt. Wenn die obige Informa- 
tion den Wunsch eines Fahrbahnwechsels zur linken angren- 
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zende Fahrbahn darstellt, wird der optische Fluss fur die 
linke angrenzende Fahrbahnregion SV( L ) ermittelt. Ergibt 
obige Information, dass die Fahrbahn nicht gewechselt wird, 
wird der optische Fluss fur die betreffende Fahrbahnregion 
SV( S ) ermittelt, 

Mit Bezug auf Fig. 8 wird nun das Verfahren zum Ermit- 
teln des optischen Flusses erlautert. 

Zunachst werden die Pixeldaten D2 von dem ersten Rah- 
men-Speicher 2a erhalten und auf dem zu einem Zeitpunkt t 
aufgenornmenen Bild wird ein kleines Fenster um einen be- 
stimmten charakteristischen Punkte P in einer Radialrich- 
tung des nach obiger Beschreibung gesetzten FOE gesetzt 
(das heiBt in der Richtung der Verbindung des FOE1 zu dem 
charakteristischem Punkt P). Nachfolgend werden die Pixel- 
daten D3 von dem zweiten Rahmen-Speicher 2b aufgenom- 
men und auf. dem zu dem Zeitpunkt t+At aufgenornmenen 
Bild wird wahrend einem Verschieben des Fensters Punkt 
um Punkt in der Radialrichtung von dem FOE aus der Abso- 
lutwert der Luminanzdifferenz zwischen jedem der Pixel 
berechnet, die das Fenster zum Zeitpunkt t bilden und jedem 
entsprechenden Pixel, die zusammen das Fenster zum Zeit- 
punkt t+At bilden. 

Das heiBt, dass der Absolutwert der Luminanzdifferenz 
zwischen dem charakteristischen Punkt P im Zeitpunkt t 
(Fig. 8A) und dem charakteristischen Punkt Q zum Zeit- 
punkt t+At berechnet wird. Der Grad der Bewegung des 
Fensters wahrend einer derartigen Berechnung der Lumi- 
nanzdifferenzen wird als der optische Flussvektor des cha- 
rakteristischen Punktes t genommen. Obiger Vorgang wird 
fiir alle charakteristischen Punkte gemaB der Fahrtrichtungs- 
anderungs-Information SI wiederholt, wodurch die opti- 
schen Flussvektoren innerhalb der Region erstellt werden. 
Zur Ermittlung der weiBen Linie kann in Schritt S7 die CPU 
5a als Vorrichtung zur Feststellung des Bewegungsgrades 
fungieren. 

Mit Bezug auf die Fig. 8A und 8 ist wird betont, dass ob- 
wohi der Bewegungsgrad des einzelnen charakteristischen 
Punktes als der optische Fluss bestimmt wurde, der Bewe- 
gungsgrad einer Gruppe aus einer Mehrzahl charakteristi- 
scher Punkte als der optische Flussvektor genommen wer- 
den kann. 

Nachfolgend bestimmt die CPU 5a, ob sich auf der 
Grundlage der in Schritt S7 erhaltenen optischen Flussvek- 
toren ein Objekt, wie beispielsweise ein anderes Fahrzeug, 
annahert (S8). Wenn der optische Fluss in Richtung des FOE 
konvergiert, bedeutet dass, dass ein anderes Fahrzeug auf 
der benachbarten Fahrbahn oder dem Fahrzeug auf dersel- 
ben Fahrbahn folgend mit einer geringeren Geschwindigkeit 
fahrt, und sich daher dem Fahrzeug nicht annahert. Diver- 
giert demgegenuber der optische Fluss von dem FOE, be- 
deutet das, dass sich das Objekt dem betreffenden Fahrzeug 
annahert. 

Die optischen Flussvektoren, die durch die umliegende 
Landschaft in dem aufgenornmenen Bild erzeugt wurden 
oder Markierungen auf der Fahrbahn darstellen, konvergie- 
ren alle zum FOE. So konnen diese Objekte verglichen mit 
dem anderen Fahrzeug ausgesondert werden, das sich auf ei- 
ner angrenzenden Fahrbahn oder dem betreffenden Fahr- 
zeug folgend annahert. Die Lange des optischen Flusses, der 
von dem anderen herannahenden Fahrzeug aufgenommen 
wird, ist proportional zu seiner Geschwindigkeit dem betref- 
fenden Fahrzeug gegenuber. Wenn die Lange des optischen 
Flusses, der von dem FOE divergiert, eine vorbestimmte 
Lange uberschreitet, wird bestimmt, dass das andere Fahr- 
zeug sich abrupt dem betreffenden Fahrzeug annahert ("ja" 
in Schritt S8). Um den Fahrer von diesem Tatbestand zu in- 
formieren, wird ein WamsignaL "Annaherung eines Fahr- 
zeuges!" durch beispielsweise einen Lautsprecher 5a ausge- 
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geben (Schritt S9). 

Nachfolgend wird das Verfahren zum Ermitteln eines her- 
annahenden Objektes auf der Grundlage der in Schritt S7 er- 
mittelten optischen Flussvektoren ausgefuhrt (Schritt S10). 
In diesem Verfahrensschritt wird die Position des heranna- 
henden Objektes auf dem aufgenommenen Bild ermitteit. 
Mit Bezug auf Fig, 9 wird nachfolgend der Verfahrensschritt 
zur Ermittlung des herannahenden Objektes erlautert. Die 
Eriauterung bezieht sich dabei auf den Fall, bei dem die 
Fahrtrichtungsanderungs-Information SI den Wunsch eines 
Fahrbahnwechsels auf die rechte angrenzende Fahrbahn an- 
zeigt, das heiBt wo die optischen Flussvektoren nur fur die 
rechte angrenzende Fahrbahnregion ermitteit werden. 

Wie in Fig. 9 gezeigt, werden charakteristische Punkte er- 
mitteit, die den optischen Fluss bilden, der eine vorbe- 
stimmte Lange uberschreitet. Wie das gezeigt ist, kann eine 
groBe Anzahl charakteristischer Punkte fiir ein einzelnes 
sich annaherndes Fahrzeug als Objektanhaufung mit einer 
bestimmten GroBe ermitteit werden, Auf dieser Grundlage 
konnen Objektanhaufungen von charakteristischen Punkten 
ermitteit werden. Liegt nur eine einzelne Objektanhaufung 
von charakteristischen Punkten vor, bedeutet das, dass ein 
weiteres einzelnes annaherndes Fahrzeug vorliegt. Liegen 
zwei Objektanhaufungen charakteristischer Punkte vor, be- 
deutet das, dass zwei annahernde Fahrzeuge vorliegen. Es 
kann bestimmt werden, dass das annahernde Fahrzeug in- 
nerhalb eines Bereiches aufgenommen worden ist, in dem 
die Objektanhaufung(en) vorlieg(t)(en). 

Im Folgenden wird nun das Verfahren zum Ermitteln der 
Objektanhaufung charakteristischer Punkte erlautert. Zu- 
nachst extrahiert die CPU 5a die Reihen und Spalten, in de- 
nen die charakteristischen Punkte in dem aufgenommenen 
Bild vorliegen. Auf der Grundlage des Abstands zwischen 
den extrahierten Reihen wird eine Reihenanhaufung (s) er- 
mitteit. In gleicher Weise wird eine Spaltenanhaufung (s) er- 
mitteit. In Fig. 9 wurden Reihenanhaufungen Cl und C2 
und Spaltenanhaufungen C3 und C4 ermitteit. Die Bereiche 
Rl, R2, R3 und R4 werden durch Uberschneidung der je- 
weiligen Spaltenanhaufungen miteinander ermitteit. Uber- 
dies ist bestimmt, dass ein herannahendes Objekt in jedem 
dieser Bereiche Rl und R3 aufgenommen worden ist, in 
welchen Bereichen die charakteristischen Punkte gegenwar- 
tig vorliegen. In dem Schritt der Ermittlung des herannahen- 
den Objektes fungiert die CPU 5a als eine Vorrichtung zum 
Ermitteln eines herannahenden Objektes. 

Nachfolgend fuhrt die CPU 5a einen Verarbeitungsschritt 
zum Setzen eines unbeweglichen Punktes auf dem heranna- 
henden Objekt aus, das auf der Grundlage der Positionen der 
charakteristischen Punkte innerhalb der Regionen Rl und 
R3 (Schritt Sll) basiert. Beispielsweise wird der Mittel- 
punkt oder der Schwerpunkt als unbeweglicher Punkt auf 
dem herannahenden Objekt gesetzt. Der Mittelpunkt oder 
der Schwerpunkt stellt einen durchschnitdichen Punkt der 
Positionen der charakteristischen Punkte dar. So wird selbst 
dann, wenn eine Veranderung der charakteristischen Punkte 
vorliegt, die gemaB einer zeitlichen Verschiebung extrahiert 
wurden, die Veranderung aufgehoben, so dass derjenige 
Punkt erhalten werden kann, der einen nahezu unbewegli- 
chen Punkt des herannahenden Objektes ist. Im Schritt Sll 
zum Setzen des unbeweglichen Punktes arbeitet die CPU 5a 
als eine Vorrichtung zum Setzen eines unbeweglichen Punk- 
tes. 

Nachfolgend fuhrt die CPU 5a den Bilderzeugungs- Ver- 
fahrensschritt zum Erzeugen eines Anzeige-Rahmen-Bildes 
urn den nach obigem Verfahren erhaltenen unbeweglichen 
Punkt aus, welcher Rahmen das herannahende Objekt in 
dem aufgenommenen Bild eingrenzt (Schritt S12). Der 
Bilderzeugungs- Verfahrensschritt fiir die linke und rechte 



angrenzende Fahrbahnregion wird nun nachfolgend erlau- 
tert (Schritt S12). Auf dem aufgenommenen Bild ist nach 
Fig. 4 zu sehen, dass das auf der iinken oder rechten angren- 
zenden Fahrbahn fahrende Fahrzeug sich dem linken oder 

5 rechten Ende des Bildes beim Annahern an das betreffende 
Fahrzeug nahert. Mit dem Herannahen des Objektes wird es 
mit zunehmender GroBe aufgenommen. 

Unter Beachtung des obigen Tatbestandes wird mit einer 
Annaherung des unbeweglichen Punktes in der Horizontal- 

io richtung auf dem herannahenden Objekt zum linken oder 
rechten Ende der Anzeigerahmen vergroBert und das An- 
zeige-Rahmen-Bild um den unbeweglichen Punkt erzeugt. 
Somit kann der Anzeigerahmen mit der GroBe des heranna- 
henden Objektes auf dem aufgenommenen Bild synchron 

15 vergroBert werden. Deshalb kann auch in der linken oder 
rechten angrenzenden Fahrbahnregion die Sicht des heran- 
nahenden Objektes weiter verbessert sein. 

Nachfolgend wird nun der Bilderzeugungsverfahrens- 
schritt fur die betreffende Fahrbahn erlautert. Auf dem auf- 

20 genornmenen Bild folgt dem betreffenden Fahrzeug ein wei- 
teres Fahrzeug auf derselben Fahrbahn und nahert sich dem 
unteren Ende des aufgenommenen Bildes an, wenn es sich 
dem betreffenden Fahrzeug (nicht gezeigt) annahert. Das 
herannahende Objekt wird dabei mit zunehmender GroBe 

25 aufgenommen, wenn es sich dem betreffenden Fahrzeug an- 
nahert. 

Diesbezuglich vergroBert sich mit dem Herannahen des 
unbeweglichen Punktes auf dem herannahenden Objekt in 
Vertikalrichtung an das untere Ende des aufgenommenen 

30 Bildes der Anzeigerahmen und das Anzeige-Rahmen-Bild 
um den unbeweglichen Punkt wird erzeugt. Somit kann der 
Anzeigerahmen mit der GroBe des herannahenden Objektes 
auf dem aufgenommenen Bild synchron vergroBert werden. 
Uberdies fuhrt die CPU 5a einen Verfahrensschritt zur 

35 Uberlagerung des mithilfe des Bilderzeugungsprozesses ge- 
schaffenen Anzeige-Rahmen-Bildes mit dem aufgenomme- 
nen Bild aus (Schritt SI 3). In diesem Schritt arbeitet die 
CPU 5a als Uberlagerung s vorrichtung, die auf der Anzeige 
4b das Bild anzeigen kann, in dem das herannahende Fahr- 

40 zeug auf dem aufgenommenen Bild durch einen Anzeige- 
rahmen Fll um einen unbeweglichen Punkt Dl eingegrenzt 
ist. 

Nach dem Verfahrensschritt der Uberlagerung kehrt das 
Verfahren zu Schritt S2 zuriick. 

45 Wenn die Anwesenheit des herannahenden Objektes nicht 
in Schritt S8 ermitteit wurde ("NEW" in Schritt S8), wird 
bestimmt, ob eine vorbestimmte Zeit von dem Zeitpunkt an 
durchlaufen worden ist, in dem das herannahende Objekt 
zuvor erkannt worden ist ("NEIN" in Schritt S8). Wurde die 

50 vorbestimmte Zeit von dem Zeitpunkt aus, in dem das her- 
annahende Objekt zuvor erkannt wurde, nicht durchlaufen 
("NEIN" in Schritt S 14), wird das im vorigen Schritt S 12 er- 
zeugte Anzeige-Rahmen-Bild als ein vorlaufiges Anzeige- 
Rahmen-Bild gesetzt. Das Verfahren fahrt dann mit Schritt 

55 S13fort. 

Im Verarbeitungsschritt von Schritt S15 wird das vorlau- 
fige Anzeige-Rahmen-Bild auf das aufgenommene Bild pro- 
jiziert, bis die vorbestimmte Zeitdauer von dem Zeitpunkt 
an durchlaufen ist, in dem kein herannahendes Fahrzeug er- 

60 kannt wurde. Deshalb wird selbst dann, wenn kein charakte- 
ristischer Punkt extrahiert wurde und die Ermittlung eines 
herannahenden Fahrzeugs unterbrochen wird, der Anzeige- 
rahmen des herannahenden Fahrzeugs kontinuierlich ange- 
zeigt. Uberdies kann in Schritt S15 der unbewegliche Punkt 

65 des gegenwartigen herannahenden Objektes aufgrund des 
unbeweglichen Punktes geschatzt werden, der auf der 
Grundlage des vorigen Verfahrens zum Setzen eines unbe- 
weglichen Punktes erhalten wird, um ein vorlaufiges An- 
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zeige-Rahmen-Bild hinsichtlich des geschatzten Rahmens 
zu schaffen. 

Nach obiger Beschreibung kann das Bild mit dem durch 
einen stetigen Anzeigerahmen eingegrenzten herannahen- 
den Objektes angezeigt werden, selbst wenn eine Mehrzahl 5 
charakteristischer Punkte, die auf dem herannahenden Ob- 
jekt erscheinen, gemaB vorbestimmten Zeitablaufen variie- 
ren, da das Anzeige-Rahmen-Bild urn den unbeweglichen 
Punkt auf dem herannahenden Objekt erzeugt wird. 

10 

Ausfuhrungsform 2 

Wenn das herannahende Fahrzeug auf einer unebenen 
StraBe fahrt, kann es vertikale Schwingungen ausfuhren. 
Deshalb vibriert das Anzeige-Rahmen-Bild vertikal in syn- 15 
chroner Weise mit der vertikalen Vibration des herannahen- 
den Objektes, wenn, wie bei der ersten Ausfuhrungsform, 
der Mittelpunkt oder der Schwerpunkt der charakteristi- 
schen Punkte als unbeweglicher Punkt gesetzt wird und das 
Anzeige-Rahmen-Bild urn den unbeweglichen Punkt er- 20 
zeugt wird. Wenn das Anzeige-Rahmen-Bild vertikal vi- 
briert, ist der Anzeigerahmen schwer zu sehen, so dass es 
schwierig wird, das herannahende Fahrzeug zu erkennen. 
Urn dieses Problem zu losen, kann der Verfahrensschritt 
zum Setzen des unbeweglichen Punktes fur die linke und 25 
rechte angrenzende Fahrbahnregion SV(l) und SV( R ) fol- 
gendermaBen ausgefuhrt werden. 

Wie in Fig, 11 gezeigt, wird zunachst eine unbewegliche 
Vertikallinie Vqd auf dem herannahenden Fahrzeug unter 
Verwendung der Mehrzahl charakteristischer Punkte in der 30 
Horizontallinie gesetzt. Die unbewegliche Vertikallinie Vud 
kann beispielsweise eine durch den Mittelpunkt oder den 
Schwerpunkt der Mehrzahl charakteristischer Punkte ver- 
laufende Vertikallinie sein. 

Der Mittelpunkt oder Schwerpunkt ist ein gemittelter 35 
Punkt der charakteristischen Punkte in der Horizon talrich- 
tung. Deshalb wird selbst dann, wenn sich die extrahierten 
charakteristischen Punkte verandem, diese Veranderung 
aufgehoben, so dass ein Punkt auf der unbeweglichen Verti- 
kallinie V UD erhalten werden kann, die im Wesentlichen fur 40 
das herannahende Objekt unbeweglich ist. 

Nachfolgend wird eine geschatzte Ortskurve Le des unbe- 
weglichen Punktes auf dem herannahenden Objekt, der in 
der linken oder rechten angrenzenden Fahrbahnregion 
SV( L ) oder SV(r) ermittelt wurde, auf der Grundlage von 45 
beispielsweise der Position der weiBen Linie oder der Posi- 
tion des FOE gesetzt. Der Kreuzungspunkt der unbewegli- 
chen Vertikallinie V UD und der geschatzten Ortskurve L E 
wird als unbeweglicher Punkt D2 gesetzt. Ein Anzeige-Rah- 
men-Bild F2 wird um den unbeweglichen Punkt D2 erzeugt. 50 
Auf diese Weise vibriert der Anzeigerahmen nicht in der 
Vertikalrichtung mit der Vertikalvibration des herannahen- 
den Fahrzeugs, da der unbewegliche Punkt auf der Grund- 
lage von lediglich horizontalen Positionen der charakteristi- 
schen Punkte gesetzt ist, wodurch ein stetiges Anzeige-Rah- 55 
men-Bild auf dem aufgenommenen Bild erzeugt wird. 

Obwohl gemaB der ersten Ausfuhrungsform der Mittel- 
punkt oder der Schwerpunkt der Mehrzahl charakteristi- 
scher Punkte des herannahenden Fahrzeugs als unbewegli- 
cher Punkt gesetzt wurde, kann beispielsweise im Falle ei- 60 
nes kleinen vorbestimmten Zeitintervalls At die durch- 
schnittliche Position der Mittelpunkte oder Schwerpunkte 
als unbeweglicher Punkt verwendet werden, welche Mittel- 
punkte oder Schwerpunkte mehrere Male in vorbestimmten 
Intervallen At berechnet werden . 65 

In der ersten und zweiten Ausfuhrungsform wurde das 
herannahende Fahrzeug durch Erfassen des Bewegungsgra- 
des desselben charakteristischen Punktes in den zwei zu 



zwei verschiedenen Zeiten innerhalb eines vorbestimmten 
Zeitintervalls aufgenommenen Bildem ermittelt. Die Erfin- 
dung kann jedoch auch in dem Fall angewendet werden, 
wenn sie noch ein weiteres Fahrzeug dem herannahenden 
Fahrzeug annahert, wobei zwei Kameras verwendet werden. 
Es ist jedoch zu beachten, dass dann die Kosten hoher sind, 
wenn zwei Kameras verwendet werden. 

Patentanspruche 

1. Vorrichtung zur Umgebungsuberwachung eines 
Fahrzeugs, aufweisend: eine an dem Fahrzeug befe- 
stigte Bildaumahmevorrichtung zum Aufnehmen einer 
Umgebung des betreffenden Fahrzeuges; 
eine Anzeige vorrichtung (4b) zum Anzeigen des auf- 
genommenen Bildes; 

eine Vorrichtung zum Ermitteln einer Position eines 
sich an das betrefTende Fahrzeug annahernden Objek- 
tes auf der Grundlage zweier aufgenommener Bilder, 
die in einem vorbestimmten zeitlichen Abstand aufge- 
nommen wurden; 

eine Vorrichtung zum Setzen eines unbeweglichen 
Punktes auf dem ermittelten herannahenden Objekt; 
eine Bilderzeugungs vorrichtung zur Erzeugung eines 
Anzeige-Rahmen-Bildes, bei dem das herannahende 
Objekt mit Bezug auf den unbeweglichen Punkt einge- 
grenzt ist; und 

eine Vorrichtung zum Uberlagern des Anzeige-Rah- 
men-Bildes mit dem aufgenommenen Bild. 

2. Vorrichtung nach Anspruch 1, wobei die Vorrich- 
tung zur Ermittlung des herannahenden Objektes eine 
Vorrichtung zum Extrahieren eines charakteristischen 
Punktes (P( so ), P(lo), P(lo), P(l0, P(ri)) oder einer 
Anhaufung einer Mehrzahl charakteristischer Punkte 
auf dem aufgenommenen Bild zu vorbestimmten Zeit- 
intervallen aufweist, wobei die charakteristischen 
Punkte oder deren Anhaufung auf den zwei aufgenom- 
menen Bildern dazu verwendet werden, die Position 
des herannahenden Objektes zu ermitteln, und wobei 
die Vorrichtung zum Setzen des unbeweglichen Punk- 
tes den unbeweglichen Punkt auf der Grundlage der 
Mehrzahl charakteristischer Punkte (P( S o)> P(lo)> 
P(lo), P(li), P(ri)) setzt, die auf dem herannahenden 
Objekt erscheinen. 

3. Vorrichtung nach Anspruch 1, wobei die Vorrich- 
tung zum Ermitteln des herannahenden Objektes eine 
Vorrichtung zum Ermitteln eines Bewegungsgrades 
desselben charakteristischen Punktes (P(so)> P(lo)> 
P(lo)> P(li)> P(ri)) oder derselben Anhaufung charak- 
teristischer Punkte auf den zwei aufgenommenen Bil- 
dern aufweist, so dass die Position des herannahenden 
Objektes auf dem aufgenommenen Bild auf der Grund- 
lage des ermittelten Bewegungsgrades ermittelt wird. 

4. Vorrichtung nach Anspruch 2 oder 3, wobei die Vor- 
richtung zum Setzen des unbeweglichen Punktes einen 
Mittelpunkt oder Schwerpunkt der Mehrzahl charakte- 
ristischer Punkte (P(so), P(lo), P(lo), P(li), P(ri)) die 
auf dem herannahenden Objekt erscheinen, als den un- 
beweglichen Punkt setzt. 

5. Vorrichtung nach Anspruch 2 oder 3, die uberdies 
eine Vorrichtung zum Ermitteln einer weiBen Linie (12, 
13), welche Vorrichtung das aufgenommene Bild ver- 
arbeitet, um ein Paar weiBer Linien (12, 13) zu ermit- 
teln, die auf beiden Seiten der betreffenden Fahrbahn 
vorliegen und eine Vorrichtung zum Setzen einer Re- 
gion (SV( R ), SV( L )) in der linken und rechten angren- 
zenden Fahrbahn auf der Grundlage der Position der 
weiBen Linien (12, 13) aufweist, wobei die Vorrichtung 
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zum Setzen des unbeweglichen Punktes eine Vorrich- 
tung zum Erzeugen einer geschatzten Ortskurve des 
unbeweglichen Punktes auf dem herannahenden Ob- 
jekt innerhalb der linken und rechten angrenzenden 
Fahrbahnregion aufweist, welche Vorrichtung eine un- 5 
bewegliche Vertikailinie (V( UD )) auf dem herannahen- 
den Objekt auf der Grundlage der horizontalen Positio- 
nen der charakteristischen Punkte (P( S o)> P(lo), P(lo), 
P(ri)) setzt, die in der linken und rechten angren- 
zenden Fahrbahnregion ermittelt wurden, und die den 10 
Kreuzungspunkt der unbeweglichen Vertikailinie 
(V(ud)) m ft der geschatzten Ortskurve des unbewegli- 
chen Punktes setzt. 

6. Vorrichtung nach Anspruch 1, wobei die Bilderzeu- 
gungsvorrichtung einen Anzeigerahmen erzeugt, der 15 
eine GroBe entsprechend der Position des unbewegli- 
chen Punktes auf dem aufgenommenen Bild hat. 

7. Vorrichtung nach Anspruch 6, die iiberdies auf- 
weist: eine Vorrichtung zum Ermitteln einer weiBen Li- 
nie (12, 13), welche Vorrichtung das aufgenommene 20 
Bild verarbeitet, urn ein Paar weiBer Linien (12, 13) zu 
ermitteln, die auf beiden Seiten der betreffenden Fahr- 
bahn vorliegen; und eine Vorrichtung zum Setzen einer 
Region (SV(r), SV(J) in der linken und rechten an- 
grenzenden Fahrbahn auf der Grundlage der Position 25 
der weiBen Linien (12, 13), wobei die Bilderzeugungs- 
vorrichtung ein vergroBertes Anzeige-Rahmen-Bild 
schafft, entsprechend so, wie sich die Horizontalposi- 
tion des unbeweglichen Punktes auf dem herannahen- 
den Objekt, das in der linken oder rechten angrenzen- 30 
den Fahrbahnregion ermittelt wurde, dem linken oder 
rechten Ende des aufgenommenen Bildes annahert. 

8. Vorrichtung nach Anspruch 6, die iiberdies auf- 
weist: eine Vorrichtung zum Ermitteln einer weiBen Li- 
nie (12, 13), welche Vorrichtung das aufgenommene 35 
Bild verarbeitet, um ein Paar weiBer Linien (12, 13) zu 
ermitteln, die auf beiden Seiten der betreffenden Fahr- 
bahn vorliegen; und eine Vorrichtung zum Setzen einer 
linken und rechten angrenzenden Fahrbahn auf der 
Grundlage der Position der weiBen Linien (12, 13), wo- 40 
bci die Bilderzeugungsvorrichtung ein vergroBertes 
Anzeige-Rahmen-Bild schafft, entsprechend so, wie 
sich die Vertikalposition des unbeweglichen Punktes 
auf dem herannahenden Objekt, das in einer Region 
(SV( R ), SV( L )) der entsprechenden Fahrbahn ermittelt 45 
wurde, dem unteren Ende des aufgenommenen Bildes 
annahert. 

9. Vorrichtung nach Anspruch 1, wobei die Bilderzeu- 
gungsvorrichtung ein vorlaufiges Anzeige-Rahmen- 
Bild mit Bezug auf den zuvor gesetzten unbeweglichen 50 
Punkt erzeugt, wenn das herannahende Objekt nicht er- 
mittelt worden ist, und wobei die Uberiagerungsvor- 
richtung das vorlaufige Anzeige-Rahmen-Bild fur eine 
vorbestimmte Zeit mit dem aufgenommenen Bild iiber- 
lagert. 55 
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